You Changed Your Mind, The Model Didn't: Demystifying Intent in Multi-Turn Dialogue
你改了主意,模型没改:多轮对话中的意图解谜
🧭 LLM 多轮意图追踪与自蒸馏训练
HKUST · Tencent Hy
提出 Intent-Eval 揭示 LLM 将已拒绝/被取代内容当作有效需求,并用 Intent-OPSD 自蒸馏缓解意图混淆
📌 工作参考价值(4 点)
- 在电商导购/客服 Agent 中显式维护 active intent 状态:用户说“换成蓝色”后又取消,不应把蓝色偏好带入后续推荐;可在 prompt 或上下文状态层标记 rejected/superseded,避免模型把“被提及”当成“仍有效”。
- 微调多轮指令跟随模型时可借鉴 Intent-OPSD:冻结同模型 Teacher 以最终决策和完整任务生成正确 active-intent 响应,Student 在含干扰的完整对话上做 on-policy self-distillation;有助于模型忽略被拒绝的中间变更。
- 构建多轮 Agent 评估集时加入 rejected proposal 和 superseded requirement 负样本,专门测意图混淆;这类错误在单轮指令遵循评测里不可见,但会影响真实转化与体验。
- 搜索/推荐澄清场景:用户多轮修正 query(如“不要红色,还是蓝色”)时,系统只应保留最终有效约束;可用版本化需求或 turn-level validity 标记,生成/排序前做一致性校验。